#Process Evaluation

3 篇

OSWorld-Pro: Process-based Evaluation for Computer Use Agents

OSWorld-Pro：面向计算机使用Agent的过程性评估基准

🧭 Agent 过程性评估基准

NVIDIA

用 2800+ 子目标与 LLM-Judge 评估 CUA 过程性失败，揭示 Claude Opus 5 仅 75.7%

📌 工作参考价值（4 点）

对推荐/电商 Agent 的长链路任务（如“找到商品并下单”）不要只看最终成交，可拆成 query 理解、筛选、加购等顺序子目标，用 LLM-Judge 对每个子目标达成做过程性奖励，定位失败环节。
可以借鉴其 subgoal 标注方法：由人工标注关键中间态，构建带部分奖励的数据集，用于强化学习或 SFT，让模型学会逐步推进而不是跳步。
关注失败模式分类（如点击错误 vs 键盘输入错误、子目标无关动作），在 GUI Agent 中可对应到 UI 操作与 API 调用，针对高频错误做 action space 剪枝或提示优化。
用 LLM-Judge 代替人工做过程性校验时，需要与人工标注做对齐验证，确保 judge 可靠后再上线到自动化评估流水线。

Eval | 2026-09-21 | cs.LG | score 7/10

PhysElite：LLM 距解决奥赛物理题有多远

🧭 多模态 LLM 物理推理基准与过程评估

Xi'an Jiaotong-Liverpool University

构建大规模双语多模态物理奥赛基准 PhysElite，含 11586 题；最强多模态模型答案准确率仅 33.7%，并提供步骤级过程评估。

📌 工作参考价值（4 点）

步骤级过程评估可迁移到电商推荐 Agent 的诊断：在 query 改写→召回→排序→解释等多步推理链中，对中间步骤单独打分，定位失败子环节，而不是只看最终推荐命中率。
构建垂类专家级评测集的思路可借鉴：覆盖知识点、视觉形式和解题过程，用于电商商品知识问答、促销规则计算等多模态场景，衡量 LLM 的业务推理能力。
复杂物理题中 MLLM 准确率仅 33.7%，提示业务中的数值计算、多步推理不能完全依赖 LLM，应结合计算器、规则引擎等外部工具，如价格、库存、优惠叠加逻辑。
双语对齐和分步解答标注可用于微调生成式推荐理由、购物决策解释，让模型输出可核验的推理过程。

Eval | 2026-08-25 | cs.MM | score 6/10

哪里出错了？基于语义状态追踪的Web代理过程层评估

🧭 Web Agent 过程评估与技能诊断

Yonsei University · Microsoft Research

提出基于语义MDP的过程评估基准WebStep，通过技能分解与分叉分析定位Agent在探索与执行上的细微差异

📌 工作参考价值（4 点）

多步交互Agent的过程监控：电商搜索、推荐场景中Agent需多轮导航（如筛选商品、填写订单），可借鉴WebStep构建语义状态机，跟踪关键语义转移（如“已选品类”、“完成比价”），而不仅是最终转化，实现细粒度诊断。
技能分解定位薄弱环节：将Agent能力拆解为探索（信息搜集）与执行（提交操作）等技能，按动作类型统计成功率，可发现模型在“过滤条件设置”强但在“最终下单”弱，从而定向优化提示或微调数据。
分叉分析定位关键错误：追踪任务失败前状态分叉点，识别导致失败的决定性错误（如遗漏必填项），分析该错误是否为Agent特有，有助于集中修复高频Agent特异性缺陷，而非泛泛优化整体能力。
难度自适应评估：任务难度缩放设计可揭示Agent在不同复杂性下的表现分化，用于制定上线策略：简单任务用低成本Agent，复杂任务触发更强大的模型或人工兜底。

Eval | 2026-04-07 | HF Daily | score 7/10